import scrapy


class Demo1Spider(scrapy.Spider):
    name = "demo1"                      # 标识spider。它在一个项目中必须是唯一的，即不能为不同的爬行器设置相同的名称
    allowed_domains = ["lianjia.com"]     # 允许爬取url的域名
    start_urls = ["https://km.lianjia.com/ershoufang/"]     # 一个url列表，spider从这些网页开始抓取

    def parse(self, response, **kwargs):       # parse()一个方法，当start_urls里面的网页抓取下来之后需要调用这个方法解析网页内容
        print("*" * 30)
        print(response.text)
